【新开源报道 46】最精准！上海交大开源姿态估计和跟踪系统 AlphaPose

开源最前线（ID：OpenSourceTop） 猿妹 整编

素材来自：GitHub、雷锋网等

上海交通大学 MVIG 实验室刚刚开源了 AlphaPose ，这是一个精准的多人姿态估计系统，是首个在 COCO 数据集上可达到 70+ mAP（72.3 mAP，高于 Mask-RCNN 8.2 个百分点），在 MPII 数据集上可达到 80+ mAP（82.1 mAP）的开源系统。

多人姿态估计系统 AlphaPose

授权协议：未知

开发语言：Python

操作系统：跨平台

GitHub地址：https://github.com/MVIG-SJTU/AlphaPose

AlphaPose 简介

Alpha Pose是一个精确的多人姿势估计系统。它是第一个在COCO数据集上可达到70+ mAP（72.3 mAP），在MPII数据集上可达到80+ mAP（82.1 mAP）的开源系统。为了将指示同一个人的姿势关联起来，我们还提供了一种称为姿势流的有效的在线姿势跟踪器。它也是第一个在PoseTrack挑战数据集上能够满足60+ mAP（66.5 mAP）和50+ MOTA（58.3 MOTA）的开源在线姿态跟踪器。

该系统目前有两个应用：

一是视频姿态跟踪(Pose Tracking)。为了匹配同一个人在不同帧中的姿态，他们开源了一个高效的线上姿态跟踪器(Pose Tracker)--Pose Flow。Pose Flow 是第一个在 PoseTrack Challenge 数据集上的 mAP 超过 60 (66.5 mAP) 、MOTA 超过50 (58.3 MOTA) 的线上开源姿态跟踪器(Pose Tracker)。 论文:Pose Flow: Efficient Online Pose Tracking

二是视觉副词识别(Visual Adverb Recognition)。他们提出对视觉副词进行研究，提供了新的 ADHA 数据集，以及一个基于该姿态估计系统的算法。不过准确率目前较低。 论文:Human Action Adverb Recognition: ADHA Dataset and Four-Stream Hybrid Model

AlphaPose 特性

AlphaPose 功能特性十分强大，功能特性以及系统要求如下：

● 准确：能够准确检测多人的关键点

● 输入：图像，视频，图像列表。

● 输出：基本图像+关键点显示/保存（PNG，JPG，AVI，...），保存关键点（JSON），支持多种格式。

● 可用：命令行演示，python和Lua程序

● 操作系统要求：Ubuntu

COCO test-dev 2015：

MPII full test set：

姿态跟踪测试结果

Multi-Person Pose Estimation (mAP)

Pose Tracking (MOTA)

安装

1、获取代码并构建相关模块。

2、安装Torch和TensorFlow（verson> = 1.2）。之后，通过以下方式安装相关的依赖项：

运行fetch_models.sh来下载我们的预训练模型。或者手动下载模型：output.zip

快速开始

演示：为文件夹中的所有图像运行AlphaPose，并通过以下方式可视化结果：

可视化结果将存储在examples / results / RENDER中。

加速AlphaPose

我们提供了一种 fast 禁用多尺度测试的人体检测模式。你可以通过添加来打开它--mode fast。

如果您的机器上有多个gpus或有大的gpu记忆，可以使用多gpu测试或大批量测试来加速姿态估计步骤：

它假定你的机器上有4个gpu卡，每个卡可以运行一批5个图像。这里是不同大小的内存的建议批处理大小：

---

●本文编号166，以后想阅读这篇文章直接输入166即可

●输入m获取文章目录

↓↓↓ 点击"阅读原文" 进入GitHub详情页